Thân thế của Hoắc Quang rất phức tạp, có liên hệ với nhà họ Vệ của Đại danh tướng Vệ Thanh, Nguyên cha của Hoắc Quang là Hoắc Trọng Phụ (霍仲孺), nguyên là một Huyện lại của huyện Bình Dương, thuộc quận Hà Đông (河東郡平暘縣, nay là khu vực Lâm Phần, tỉnh Sơn Tây). Hoắc Trọng Phụ vào khoảng năm 141 TCN, khi đến kinh đô Trường An đã tư thông với con gái của Bình Dương hầu Tào Thọ - chú dượng của Hán Vũ Đế Lưu Triệt, tên gọi là Vệ Thiếu Nhi, sinh ra Hoắc Khứ Bệnh (vào năm 141 TCN), Vệ Thiếu Nhi vốn là con riêng của vợ Tào Thọ là Vệ Ẩu, đồng thời là chị của Hoàng hậu của Vũ Đế là Vệ Tử Phu. Sau đó, Trọng Phụ trở về Bình Dương và không còn qua lại với Thiếu Nhi nữa, sau đó ông có vợ và sinh Hoắc Quang ở huyện Bình Dương. Ông được sinh ra khoảng niên hiệu Nguyên Quang triều Hán Vũ Đế, không rõ chính xác là năm nào[5][6]. Xét quan hệ, ông là em cùng cha khác mẹ với Hoắc Khứ Bệnh. Sách Hán thư ghi chép rằng Hoắc Quang tính tình trầm tĩnh, người cao to da trắng, lông mi thưa đẹp, râu đẹp, được coi là mĩ nam tử đương thời[7].

Năm 121 TCN, người anh khác mẹ Hoắc Khứ Bệnh được cử làm Phiêu kị tướng quân, dẫn quân đánh Hung Nô, đi ngang qua huyện Bình Dương gặp lại cha là Hoắc Trọng Phụ và nhận lại nhau, đó cũng là lần đầu Hoắc Quang gặp được anh mình. Cùng năm đó, Hoắc Khứ Bệnh đưa Hoắc Quang về kinh đô Trường An và tiến cử lên Hán Vũ Đế. Do sự tiến cử của anh, Hoắc Quang tuy mới khoảng 10 tuổi cũng đã được phong làm Lang quân rồi Tào quan và Thị trung[8]. Sau khi Hoắc Khứ Bệnh qua đời (117 TCN)[9], Hoắc Quang tiếp tục được Hán Vũ Đế trọng dụng, được thăng làm Phụng Xa Đô úy, rồi Quang Lộc đại phu[10].

Năm 91 TCN, Hán Vũ đế nghe lời sàm tấu của Giang Sung, hại con mình là Lệ Thái tử Lưu Cứ và lập người con út do Câu Dặc phu nhân sinh là Lưu Phất Lăng làm Thái tử và giao cho Hoắc Quang phụ tá. Sang năm 89 TCN, ông cùng với Kim Nhật Đê và Thượng Quan Kiệt tham gia lật đổ âm mưu tạo phản của Trung phó xạ Hà La và người em là Trọng Hợp hầu, do đó ba người đều được phong hầu, trong đó Hoắc Quang được làm Bác Lục hầu (博陆侯).

Hai năm sau (87 TCN), Hán Vũ Đế lâm bệnh, bèn phong cho Hoắc Quang làm Tư Mã Đại tướng quân, cùng ba đại thần khác là Kim Nhật Đê, Thượng Quan Kiệt, Tang Hoành Dương làm phụ chính giúp đỡ cho Phất Lăng khi đó chỉ mới 8 tuổi, trong đó Hoắc Quang nắm quyền lớn nhất, gọi là quyền [Bỉnh chính; 秉政][11]. Sau khi Vũ đế qua đời, Phất Lăng lên nối ngôi, tức Hán Chiêu Đế[12]. Tuy nhiên, việc này bị sử gia Lã Tư đời sau nghi ngờ trong Trung Quốc thông sử vì Hoắc Quang vốn chỉ là thị vệ trong cung, không thể được tín nhiệm đến vậy, còn Kim Nhật Đê là người Hung Nô, mà Hán Vũ Đế theo lý lẽ không thể giao việc phụ chính cho người Hung Nô được.